Νέα έρευνα έδειξε ότι ορισμένα από τα πιο προηγμένα συστήματα τεχνητής νοημοσύνης δυσκολεύονται να διατηρήσουν την προσοχή τους σε παρατεταμένες γνωστικές δοκιμασίες
Μια νέα επιστημονική μελέτη αποκάλυψε ένα απροσδόκητο «αδύναμο σημείο» σε ορισμένα από τα πιο εξελιγμένα συστήματα τεχνητής νοημοσύνης του κόσμου, υποδεικνύοντας ότι ο τρόπος με τον οποίο λειτουργεί η προσοχή τους διαφέρει σημαντικά από εκείνον του ανθρώπινου εγκεφάλου.
Η έρευνα, με επικεφαλής τον Suketu Patel, χρησιμοποίησε ένα από τα πιο γνωστά τεστ της γνωστικής ψυχολογίας, το λεγόμενο Stroop Test, για να εξετάσει τον τρόπο με τον οποίο μεγάλα γλωσσικά μοντέλα (LLMs) όπως τα GPT, Claude και Gemini διαχειρίζονται αντικρουόμενες πληροφορίες.
Το τεστ που αποκαλύπτει τα όρια της προσοχής
Το Stroop Test χρησιμοποιείται εδώ και δεκαετίες για τη μελέτη της ανθρώπινης συγκέντρωσης και του λεγόμενου «εκτελεστικού ελέγχου» του εγκεφάλου.
Στο πείραμα, οι συμμετέχοντες βλέπουν λέξεις που αντιστοιχούν σε χρώματα, όπως «κόκκινο» ή «μπλε», γραμμένες με έγχρωμα γράμματα.
Μερικές φορές το χρώμα της λέξης συμφωνεί με το περιεχόμενο της λέξης. Άλλες φορές όμως όχι. Για παράδειγμα, η λέξη «κόκκινο» μπορεί να εμφανίζεται με μπλε χρώμα.
Οι συμμετέχοντες καλούνται να αναγνωρίσουν το χρώμα των γραμμάτων και να αγνοήσουν τη σημασία της λέξης.
Αυτό δημιουργεί μια γνωστική σύγκρουση, καθώς ο ανθρώπινος εγκέφαλος είναι εκπαιδευμένος να διαβάζει αυτόματα τις λέξεις.
Εντυπωσιακές επιδόσεις στην αρχή
Οι ερευνητές υπέβαλαν κορυφαία μοντέλα τεχνητής νοημοσύνης σε αντίστοιχες δοκιμασίες.
Σε σύντομες λίστες πέντε λέξεων, όπου το χρώμα και η σημασία της λέξης συγκρούονταν, τα αποτελέσματα ήταν ιδιαίτερα εντυπωσιακά.
Το GPT-4o πέτυχε ποσοστό επιτυχίας 91%, ενώ το Claude 3.5 Sonnet εμφάνισε επίσης πολύ υψηλές επιδόσεις.
Τα πρώτα αποτελέσματα έδιναν την εντύπωση ότι τα μοντέλα μπορούσαν να ακολουθούν σωστά τις οδηγίες και να αγνοούν τις παραπλανητικές πληροφορίες.
Κατάρρευση της απόδοσης σε μεγαλύτερες δοκιμασίες
Η εικόνα άλλαξε δραματικά όταν οι επιστήμονες αύξησαν το μέγεθος των λιστών.
Η ακρίβεια του GPT-4o έπεσε από το 91% στις πέντε λέξεις στο 57% στις δέκα λέξεις. Όταν η λίστα έφτασε τις 40 λέξεις, η επιτυχία κατρακύλησε μόλις στο 15%!
Το Claude 3.5 Sonnet διατήρησε υψηλές επιδόσεις έως τις 20 λέξεις, όμως και αυτό παρουσίασε απότομη πτώση, φτάνοντας στο 24% στις μεγαλύτερες δοκιμασίες.
Αντίστοιχα μοτίβα παρατηρήθηκαν και στα GPT-5, Claude Opus 4.1 και Gemini 2.5.
Ακόμη πιο εντυπωσιακό ήταν το γεγονός ότι όταν στην ίδια λίστα συνυπήρχαν λέξεις με συμφωνία και ασυμφωνία χρώματος-νοήματος, η απόδοση των μοντέλων στα ασύμβατα παραδείγματα σχεδόν μηδενιζόταν.
Γιατί οι άνθρωποι τα καταφέρνουν καλύτερα
Οι επιστήμονες εκτιμούν ότι η διαφορά οφείλεται στον τρόπο λειτουργίας της ανθρώπινης προσοχής.
Οι άνθρωποι έχουν επίσης ισχυρή τάση να διαβάζουν αυτόματα τις λέξεις. Ωστόσο, μπορούν να καταστείλουν αυτή την παρόρμηση και να παραμείνουν προσηλωμένοι στον στόχο που τους έχει δοθεί ακόμη και σε μεγάλες ακολουθίες εργασιών.
Τα μοντέλα τεχνητής νοημοσύνης, αντίθετα, φαίνεται πως σταδιακά «ξεχνούν» την αρχική οδηγία και επιστρέφουν στην αυτόματη ερμηνεία των λέξεων. Με απλά λόγια, χάνουν τον αρχικό στόχο της δοκιμασίας.
Θεμελιώδης διαφορά με τον ανθρώπινο εγκέφαλο
Οι ερευνητές τονίζουν ότι το φαινόμενο αυτό υποδηλώνει πως οι μηχανισμοί προσοχής των σύγχρονων συστημάτων τεχνητής νοημοσύνης διαφέρουν ουσιαστικά από τους βιολογικούς μηχανισμούς του ανθρώπινου εγκεφάλου.
Παρότι τα σημερινά μοντέλα εντυπωσιάζουν με τις δυνατότητές τους στη συγγραφή, τον προγραμματισμό, τη συνομιλία και την επίλυση σύνθετων προβλημάτων, η μελέτη αναδεικνύει περιορισμούς που παραμένουν σε εργασίες οι οποίες απαιτούν διαρκή συγκέντρωση, αναστολή αυτόματων αντιδράσεων και διατήρηση συγκεκριμένων οδηγιών για μεγάλο χρονικό διάστημα.
Νέα ερωτήματα για το μέλλον της AI
Τα αποτελέσματα υπενθυμίζουν ότι οι υψηλές επιδόσεις της τεχνητής νοημοσύνης δεν σημαίνουν απαραίτητα ότι σκέφτεται ή επεξεργάζεται πληροφορίες όπως οι άνθρωποι.
Αντίθετα, φαίνεται ότι πίσω από τις εντυπωσιακές δυνατότητές της κρύβονται αδυναμίες που γίνονται ορατές μόνο όταν τα συστήματα καλούνται να διατηρήσουν μακροχρόνια προσοχή και αυτοέλεγχο.
Καθώς η τεχνητή νοημοσύνη ενσωματώνεται όλο και περισσότερο στην καθημερινότητα, οι επιστήμονες θεωρούν ότι η κατανόηση αυτών των περιορισμών είναι εξίσου σημαντική με την αξιολόγηση των εντυπωσιακών δυνατοτήτων της.
www.bankingnews.gr
Η έρευνα, με επικεφαλής τον Suketu Patel, χρησιμοποίησε ένα από τα πιο γνωστά τεστ της γνωστικής ψυχολογίας, το λεγόμενο Stroop Test, για να εξετάσει τον τρόπο με τον οποίο μεγάλα γλωσσικά μοντέλα (LLMs) όπως τα GPT, Claude και Gemini διαχειρίζονται αντικρουόμενες πληροφορίες.
Το τεστ που αποκαλύπτει τα όρια της προσοχής
Το Stroop Test χρησιμοποιείται εδώ και δεκαετίες για τη μελέτη της ανθρώπινης συγκέντρωσης και του λεγόμενου «εκτελεστικού ελέγχου» του εγκεφάλου.
Στο πείραμα, οι συμμετέχοντες βλέπουν λέξεις που αντιστοιχούν σε χρώματα, όπως «κόκκινο» ή «μπλε», γραμμένες με έγχρωμα γράμματα.
Μερικές φορές το χρώμα της λέξης συμφωνεί με το περιεχόμενο της λέξης. Άλλες φορές όμως όχι. Για παράδειγμα, η λέξη «κόκκινο» μπορεί να εμφανίζεται με μπλε χρώμα.
Οι συμμετέχοντες καλούνται να αναγνωρίσουν το χρώμα των γραμμάτων και να αγνοήσουν τη σημασία της λέξης.
Αυτό δημιουργεί μια γνωστική σύγκρουση, καθώς ο ανθρώπινος εγκέφαλος είναι εκπαιδευμένος να διαβάζει αυτόματα τις λέξεις.
Εντυπωσιακές επιδόσεις στην αρχή
Οι ερευνητές υπέβαλαν κορυφαία μοντέλα τεχνητής νοημοσύνης σε αντίστοιχες δοκιμασίες.
Σε σύντομες λίστες πέντε λέξεων, όπου το χρώμα και η σημασία της λέξης συγκρούονταν, τα αποτελέσματα ήταν ιδιαίτερα εντυπωσιακά.
Το GPT-4o πέτυχε ποσοστό επιτυχίας 91%, ενώ το Claude 3.5 Sonnet εμφάνισε επίσης πολύ υψηλές επιδόσεις.
Τα πρώτα αποτελέσματα έδιναν την εντύπωση ότι τα μοντέλα μπορούσαν να ακολουθούν σωστά τις οδηγίες και να αγνοούν τις παραπλανητικές πληροφορίες.
Κατάρρευση της απόδοσης σε μεγαλύτερες δοκιμασίες
Η εικόνα άλλαξε δραματικά όταν οι επιστήμονες αύξησαν το μέγεθος των λιστών.
Η ακρίβεια του GPT-4o έπεσε από το 91% στις πέντε λέξεις στο 57% στις δέκα λέξεις. Όταν η λίστα έφτασε τις 40 λέξεις, η επιτυχία κατρακύλησε μόλις στο 15%!
Το Claude 3.5 Sonnet διατήρησε υψηλές επιδόσεις έως τις 20 λέξεις, όμως και αυτό παρουσίασε απότομη πτώση, φτάνοντας στο 24% στις μεγαλύτερες δοκιμασίες.
Αντίστοιχα μοτίβα παρατηρήθηκαν και στα GPT-5, Claude Opus 4.1 και Gemini 2.5.
Ακόμη πιο εντυπωσιακό ήταν το γεγονός ότι όταν στην ίδια λίστα συνυπήρχαν λέξεις με συμφωνία και ασυμφωνία χρώματος-νοήματος, η απόδοση των μοντέλων στα ασύμβατα παραδείγματα σχεδόν μηδενιζόταν.
Γιατί οι άνθρωποι τα καταφέρνουν καλύτερα
Οι επιστήμονες εκτιμούν ότι η διαφορά οφείλεται στον τρόπο λειτουργίας της ανθρώπινης προσοχής.
Οι άνθρωποι έχουν επίσης ισχυρή τάση να διαβάζουν αυτόματα τις λέξεις. Ωστόσο, μπορούν να καταστείλουν αυτή την παρόρμηση και να παραμείνουν προσηλωμένοι στον στόχο που τους έχει δοθεί ακόμη και σε μεγάλες ακολουθίες εργασιών.
Τα μοντέλα τεχνητής νοημοσύνης, αντίθετα, φαίνεται πως σταδιακά «ξεχνούν» την αρχική οδηγία και επιστρέφουν στην αυτόματη ερμηνεία των λέξεων. Με απλά λόγια, χάνουν τον αρχικό στόχο της δοκιμασίας.
Θεμελιώδης διαφορά με τον ανθρώπινο εγκέφαλο
Οι ερευνητές τονίζουν ότι το φαινόμενο αυτό υποδηλώνει πως οι μηχανισμοί προσοχής των σύγχρονων συστημάτων τεχνητής νοημοσύνης διαφέρουν ουσιαστικά από τους βιολογικούς μηχανισμούς του ανθρώπινου εγκεφάλου.
Παρότι τα σημερινά μοντέλα εντυπωσιάζουν με τις δυνατότητές τους στη συγγραφή, τον προγραμματισμό, τη συνομιλία και την επίλυση σύνθετων προβλημάτων, η μελέτη αναδεικνύει περιορισμούς που παραμένουν σε εργασίες οι οποίες απαιτούν διαρκή συγκέντρωση, αναστολή αυτόματων αντιδράσεων και διατήρηση συγκεκριμένων οδηγιών για μεγάλο χρονικό διάστημα.
Νέα ερωτήματα για το μέλλον της AI
Τα αποτελέσματα υπενθυμίζουν ότι οι υψηλές επιδόσεις της τεχνητής νοημοσύνης δεν σημαίνουν απαραίτητα ότι σκέφτεται ή επεξεργάζεται πληροφορίες όπως οι άνθρωποι.
Αντίθετα, φαίνεται ότι πίσω από τις εντυπωσιακές δυνατότητές της κρύβονται αδυναμίες που γίνονται ορατές μόνο όταν τα συστήματα καλούνται να διατηρήσουν μακροχρόνια προσοχή και αυτοέλεγχο.
Καθώς η τεχνητή νοημοσύνη ενσωματώνεται όλο και περισσότερο στην καθημερινότητα, οι επιστήμονες θεωρούν ότι η κατανόηση αυτών των περιορισμών είναι εξίσου σημαντική με την αξιολόγηση των εντυπωσιακών δυνατοτήτων της.
www.bankingnews.gr
Σχόλια αναγνωστών